跳到主要内容

ControlNet 工具

ControlNet 是什么?​

女模特总是不配合?用它!游戏原画没灵感?也用它!建筑绘画各行各业设计都用它!它就是 ControlNet !只需简单调整参数就能产出无限创作灵感,提高我们的创作效率!

这款 SD 插件已成为了AI 绘画领域最新的热点。而它的出现代表着 AI 生成开始进入真正可控的时期,而 AIGC 的可控性是它进入实际生产最关键的一环。在此之前,大家用了很多方法想让 AI 生成的结果尽可能符合要求,但都不尽如人意,ControlNet 比之前 img2img 要更加精准和有效,可以直接提取画面的构图,人物的姿势和画面的深度信息等等。

有了它的帮助,就不用频繁用提示词来碰运气抽卡式创作了。今天我们就详细探讨下 ControlNet 的各项参数,带着大家进入绘画创作的新大门!

ControlNet 安装​

目前 ControlNet 插件已集成在 Stable Diffusion WebUI 的扩展内,可以一键自动下载安装。

根据图片红框顺序点击安装即可

Stable Diffusion WebUI -> 扩展 -> 可用 -> 加载 -> sd-webui-controlnet -> install。

然而,仅仅这样是不够的,ControlNet需要使用多个定制模型来处理输入的图像和参数。这些额外的模型大小各不相同,最小的为80MB,最大的为1.5GB,总共约有十几个。如果全部下载,将占据 10GB 以上的硬盘空间。

可以根据自己的需求选择下载,但是如果不下载,就无法使用 ControlNet 的功能。所以,如果你的硬盘空间不够,就需要考虑清楚了。

git lfs install
git clone git@hf.co:lllyasviel/ControlNet-v1-1

下载完成后,把这些模型丢到下面的目录下面

/extensions/sd-webui-controlnet/models/

往下拉就能看到配置了

如何使用​

进入 txt2img,找到 ControlNet 所在位置,上传图

然后勾选 Enable,并选择所需的 Model 和 Preprocessor

点击上面的生成按钮,就可以生成图片了

canny 边缘检测​

提取线稿,通过从原始图片中提取线稿,来生成同样构图的画面。这个案例是输入鸟的图片和提示词。

通过给线稿上色来制作的小动画,稳定性很好。

depth 深度检测​

提取深度图,通过提取原始图片中的深度信息,可以生成具有同样深度结构的图。

用 Blender 创建空间 → 创建深度图 → 用 ControlNet Depth 创建插图 → 粘贴为 Blender 空间中的纹理,就可以创建无限弹出的立体书

References​